大規模言語モデルは流暢な文章を生成できますが、 流暢さと事実の信頼性は同じではありません。LLMの根本的な制限は、 パラメトリックメモリ——訓練が終了した瞬間に凍結された知識であり、トレーニング終了時点（training cutoff）と呼ばれます。
なぜLLMは孤立して失敗するのか
RAGが存在するのは、多くの実用的な質問が 機密情報、 最新の情報、 バージョン管理されている、 分野特化型の、または 監査可能に依存しているためです。外部知識がない場合、モデルは次の課題を抱えます：
- 時間的制限：訓練後の出来事についての知識が得られないこと。
- アクセス制限：『ダークデータ』（企業の機密文書）へのアクセスが不可能であること。
- 追跡可能性の制限：専門職における責任追及のための監査可能な履歴がないこと。
オープンブックパラダイム
高コストな再トレーニングでモデルにすべてを『記憶させよう』とする代わりに、まず外部のコアスから特定の証拠を取得するアーキテクチャに移行します。これにより、LLMはその証拠を視認しながら回答できるようになります。これにより、 証拠に基づく自信 それ自体に自信を持つというより、証拠がある状態での自信を提供します。